Unificar comunicaciones y actualizaciones locales en preentrenamiento de LLMs
GASLoC unifica comunicaciones y actualizaciones locales para preentrenar LLMs. Supera algoritmos descentralizados y compite con DiLoCo en eficiencia.
#preentrenamiento descentralizado